イベントレポート
IIJ Technical WEEK 2020
突然の大トラフィック……昔はOSだったが、今はゲームのアップデートに……IIJが語る「インターネットのバックボーン」
経路障害は今、この瞬間も起きている（かも）……DDoS最新事情、世界の回線事情まで
2020年12月24日 06:55
株式会社インターネットイニシアティブ（IIJ）は、ITエンジニアを対象とした年次の技術イベント「IIJ Technical WEEK 2020」を開催した。会期は12月14日から17日の計4日間で、今回はオンライン開催となった。
4日間それぞれにテーマが設定され、DAY1は「セキュリティ」、DAY2は「インターネット・バックボーン」、DAY3が「アプリケーション」、DAY4が「データセンター」となっている。
本稿では、DAY2（15日）のインターネットバックボーンに関するセッションの模様をレポートする。なお、セッション内容は後日、動画でも公開されている。記事の最後に紹介しているので、詳しく見たい方はそちらも見てほしい。
世界各地のインターネット整備状況は？「ラマダンとトラフィックの関係」から、「tracerouteが遠い隣国」「人口比でのIP割り当て数」まで
IIJの基盤エンジニアリング本部 運用技術部 技術開発課の松崎吉伸氏による「世界のインターネット事情」は、世界各地のネットワーク運用者会議に参加した模様を交えてトピックを語る、恒例のセッションだ。
まず、世界各地の会議でのエピソードを、食事の写真をまじえて紹介した。ネパールでは窓からイーサネットケーブルを通したり、停電が発生して機器が再起動したりしたという。パキスタンは、インドと仲が良くないため、2国間をtracerouteすると一度中東を通ったという。
ブラジルについては、最近ではサンパウロが南米のハブになり、時代とともにインターネットの重要拠点が変わるものだと松崎氏は感想を述べた。
ロシアについては、現地の人の話で、規制は厳しいが常に例外があり、現場がエイヤと頑張っているという話を紹介。インドでは、政府による個人情報プラットフォームに登録されていない松崎氏がSIMを買えなかったというエピソードが語られた。
バングラデシュでは、交通の安全を求めるデモの日に、なぜか携帯事業者が同時多発的にダウンしたことが紹介され、「現代の生活は通信に依存しているので透明性が重要だと感じた」と松崎氏はコメントした。そのほか、バングラデシュでは、ラマダンや祈りの時間とインターネットトラフィックの相関関係についての発表があったという。
ここからデータで見るAPAC（Asia-Pacific）の通信事業の話になった。
まずは割り当てIPv4アドレス数。APACの中を地域単位で見ると、東アジア向け割り当てが桁違いに多いことがわかる。それぞれの地域の中を見ると、東アジアは中国や日本、韓国が多い。東南アジアはインドネシアとベトナムが多い。パシフィックはオーストラリアとニュージーランドでほぼすべてを占めている。南アジアはインドとパキスタンが多く。バングラデシュが出てきたかなというぐらいだ。
次に、世界の割り当てIPv4アドレスを人口で割った数を見てみる。南北アメリカは1.83と多いが、米国とカナダの北米に4.554と潤沢にあり、偏っている。一方、中央アメリカは0.199、南アメリカは0.353と少ない。
ヨーロッパは0.994とほぼ1だが、北ヨーロッパが1.878、西ヨーロッパが1.642と偏る一方で、東ヨーロッパは0.381だ。
アジア全体は0.192。その中で東アジアは0.415と比較的多く、日本は1.503あるものの、中国は数では多いが人口あたりは0.239と足りない。南アジアは0.032、東南アジアは0.121と足りない。なお、オーストラリアとニュージーランドは1.907と足りている。
IPv6対応状況を見ると、南アジアが大きいことがわかる。
ここで松崎氏は、若い学習している世代がインターネットを使えるかどうかについてのUNICEF調査の結果を紹介した。特にアフリカや南アジアで、まだまだアクセスできないところが多いという。今ではインターネットは教育に必要なものになっており、貧しい地域の人たちにもアクセス手段を提供しなくてはいけない、というUNICEFの意図だと氏は説明した。
話は変わって、次はネットワーク運用者のコラボレーションについて。ISOCが音頭をとって、ネットワーク運用者はこんなことやってはどうかという提案が「MANRS（マナーズ）」というドキュメンントにまとめられていると松崎氏は紹介した。Mutually Agreed Norms for Routing Securityの略ではあるが、「ルールではなくマナー」というニュアンスが含まれているという。
その中には、「ちゃんと経路制御しよう」「ソースIPアドレスが偽造されないようにしよう」「登録情報をちゃんと更新しよう」といった普通みんなやっていることが書かれていると松崎氏は紹介した。IIJも2015年の初参加を皮切りに、その後も日本から次々参加している。バングラデシュなど各国からも参加しているとのことで、「いい試みだなと思っている」と松崎氏はコメントした。
最後に松崎氏は、2020年2月にオーストラリアで開催されたAPNICの会議「APRICOT 2020」での集合写真を紹介。これが新型コロナのパンデミックが世界的に問題になるぎりぎりでの開催で、以降はオンライン開催になったと説明した。そして、「こんなときでも連携をとって頑張っている。みんなでネットワークの運用を良くしていければいいなと思っている」と語った。
IIJのバックボーンで起きたインシデントの数々……「厄介な事例」とは？
IIJのバックボーンネットワークの運用責任者である堀高房氏（基盤エンジニアリング本部 ネットワーク技術部 ネットワーク運用課長）による「バックボーン運用から見るインターネットの実情」では、IIJのインターネットバックボーンを運用している立場から見たさまざまなトラブルなどが語られた。
堀氏はまず、IIJのバックボーンネットワークの概要を紹介した。MPLS基盤上に、バックボーンやブロードバンド回線、モバイルのネットワークなど、さまざまなIPネットワークを構築する構成になっている。バックボーンネットワークは、日本を中心に北米、アジア、ヨーロッパへ展開し、POPが世界に40～50、つないでいるIXが15、ノード数が3500ぐらいだという。
また、設計・運用ポリシーとしては、シンプルできれいな構成を守る（Keep it simple）ことを挙げ、「複雑で汚いネットワークはミスを誘発し、バグを踏むことになる」と語った。また、SPOF（単一障害点）は作らないとして、機器のメーカーを分ける、アーキテクチャを分ける、同じものならOSを分けると説明。回線も、キャリアを分ける、ファイバールートを分ける、ケーブルシステムを分ける、監視システムも各地に作る、東京と大阪にNOCを設けることを語った。
それでもインシデントは発生する。監視で検知するインシデントは月間およそ700件で、多くは単純な機器や回線故障だが、中には厄介なものもあるという。以下、その厄介な事例を堀氏は紹介した。
DDoSは「100Gbps超が数日間」も……
まずはDDoSだ。堀氏の担当するバックボーンレベルで対処しなくてはいけないのは、単純はUDP Floodが大半だという。数10Gbpsと短時間（数十分）の攻撃が大半だが、100Gbps超で長時間（数日間）の攻撃もときどきあるとのこと。
さらに堀氏は個人的な推測として、目的が政治的な思惑から金銭に、乗っ取られる機器が脆弱なPCからちゃんと管理されていないIoTデバイスに、攻撃元がアジアからヨーロッパからに変わっているようだと語った。
続いて堀氏はIIJのDDoS対応の歴史を紹介した。2000年代にルーターやファイアウォールで対応しようとして失敗し、専用装置を導入して対応、そのノウハウをサービス化したことに始まる。そこでは平時から全パケットを専用装置に送る方式だったが、やがてNetFlowなどのxFlowによりパケットをサンプリングしてDDoSが来たときだけBGPでトラフィックを誘導するようになった。現在では、機器を世界中に分散して、全体で数Tbpsに対応するという。
そうしたIIJのネットワークへの攻撃は、誰が攻撃されるかによって対応が違うという正直な話を堀氏は語った。DDoS対策サービスを契約している顧客については、顧客に応じてチューニングした高度な防御で対応する。自社インフラについては、ネットワークについては入り口を制限したり、サーバーなら世界中に分散したりと、事前の策は講じやすい。
「判断が難しい」と堀氏が言うのが、DDoS対策サービスに契約していない顧客に対する攻撃だ。DDoSはもちろん問題だが、専用機材などが事前に準備されていないため、「DDoSに対する万全の対策をする」というよりは、「他への波及を防ぐ」のを主眼に対策することになるという。動き方としては、どうしても「影響が出た後に（防御ではなく）遮断する」というかたちになる。そして「それをいかに迅速にやるかということで、自動化できるように取り組んでいる」と堀氏は語った。
DDoS対策の道具立てとしては、まずは「何はともあれモニタリング」ということで、xFlowで検知するのが最初となる。続くのがDDoS対策専用装置で、「けっこう高い」のでコストに見合うメリットを見出せるかが問題となる。ここでの課題としては、防御したあとのルーティングや帯域があるという。
また、単純な物量攻撃に専用装置で対応しようとすると「金がいくらあっても足りない」と堀氏。そこでIIJは、まず単純な攻撃を防いで、それをすり抜けたものは専用装置で守るという多層化でキャパシティを増やすという方法を取っているという。
突然、トラフィックが倍増した日……イベントトラフィックの最新課題は「ゲームのアップデート」
次に、DDoSとは違う、悪意なく突然大トラフィックが来る「イベントトラフィック」だ。実例として、ある日の午後、突如として日米間のトラフィックが倍増したケースを堀氏は紹介した。しかも、運の悪いことに障害やメンテナンスで数本の回線が使えないタイミングだったという。
このとき、送信元を調べると大手CDNで、北米だけでなく世界各地から来ていた。SNSを見ると、ちょうど人気ゲーム複数タイトルの大型アップデートが偶然同時にリリースされていたという。
こういうネットワーク屋泣かせのトラフィックは、昔はP2PやOSアップデートだったが、今はゲームのアップデートだと堀氏。「これらのトラフイックは正規の通信なので、正しく運ぶ必要がある。（量は多いが）DDoSのほうが、心おきなく遮断できるぶん、対処しやすいかも」と苦笑する。
イベントトラフィックはCDNから配信されるが、CDNであるがゆえの難しさもあるという。たとえばCDNは最適な場所から配信するが、帯域が足りないと海を越えてあらゆるところから流れてくるため、受ける側には神出鬼没となる。
また、イベントトラフィックは、テレビ放送の「続きはこちらから」で突然来ることもあり、東京オリンピックでも想定されている。「事業者間情報共有の枠組みがあれば心の準備ができるが、実はCDN事業者も把握しきれていないようなので難しい。配信元の会社にも工夫してもらって、タイミングをバラすようにできないかなと思っている」と堀氏は語った。
経路障害は今この瞬間も起きている？「インターネットは奇跡的になんとか成り立っている」
次は、経路障害にまつわる事例だ。海外のAS（Autonomous System/インターネット上でのネットの管理単位）から、「IIJが経路リークしているから停めるように」と問い合わせが来た。しかし、調べてみても漏らした形式はなく、そもそもつながっていないところなのでありえない。堀氏は、何者かがIIJを詐称して経路を広告した可能性があると考えているが、真相は不明だという。
ASのルーティングはインターネットの屋台骨だが、経路障害は「気付いていないだけで、故意か過失かを問わず、今この瞬間も起きているんじゃないか。世間を騒がし明るみに出るのは氷山の一角」と堀氏。インターネットの経路交換は自己申告の世界なので、インターネットは奇跡的になんとか成り立っていると氏は説明する。
とはいえ、奇跡的といってもいられないので、信頼性向上の取り組みもなされている。ROV（Route Origin Validation）は、RPKIによる送信ASの検証で、RFCが2013年に出されている。ISP以外にも、GoogleやMicrosoftなどの大型事業者も取り組んでいるという。「ここ数年ASで導入が盛んで、IIJも去年から導入に取り組み、つい先日導入が完了した。われわれ保有IPの検証も順次対応中だ」と堀氏は報告した。
ただし、ROVが防ぐ経路障害はごく一部で、パスの詐称などは防げないという。「今後も信頼性向上の取り組みは続く」と氏はコメントした。
最後に堀氏は、この1年はリモートワークなどでインターネットの意義が再確認されて、インターネットの重要性とそれに関わる楽しさを再認識した1年だったと感想を述べた。そして、「インターネットバックボーンは、5Gなどの最先端領域にも引けを取らない陽の当たるべき仕事」として、社内でも社内ブログなどでプレゼンス向上活動を実施中とのことで、「社外の方もぜひ興味を持っていただきたい」と締めくくった。
「インターネットは集中や同時性が苦手」
2つのセッションの後で、講演した松崎氏と堀氏を招き、参加者からの質問もまじえた座談会が開かれた。司会進行は、総合司会でもあるIIJの堂前清隆氏（広報部）。
まずDDoSについて。IIJの顧客ではなくIIJ自体に来るものはあるかという質問については、堀氏も松崎氏も「ないんじゃないかと思う」と回答した。標的型などDDoSの傾向については、数が多すぎてわからず、ダークネット（未割り当てのIPアドレス）宛の攻撃を観察しているところによると、ランダムにきたものが当たっている可能性もあるという。
イベントトラフィックの大変さについては、堀氏は改めて「停めてしまうと使えなくなってしまうので、がんばるしかない」と回答。松崎氏は「インターネットは共同設備として作られているので、集中や同時性が苦手。ダウンロードなどを手掛けている方は、ぜひ分散を」と呼びかけた。
また、IIJのネットワーク内から外に出るイベントトラフィックと、外から中に来るイベントトラフィックでは、外から来る方が辛いという。「外から入ってくるものは突然やってくる。中でやっているのは事前に情報を共有できている。ただ、中から外のトラフィックは、外のオペレーターさんが苦労しているかもしれないが（苦笑）」と堀氏。
そうした事前の情報共有については、国内では配信事業者やCDN事業者で集まる場が設けられて、対応が始まっていることを松崎氏が紹介した。「人で繋がっている感じか」と堂前氏が尋ねると、松崎氏は「キーパーソンが常に必要となる。最終的には通らないかもしれないが、キーパーソンを通すことでコミュニケーションが成立する。そのためにも信頼性を作っていくことが重要だと思う」と答えた。
最後に堂前氏は、“インターネットの松崎さん”が“堀さんが維持するIIJのネットワーク”をどう見ているかについて質問した。それに対して松崎氏は、「IIJのネットワークは、お手本に忠実にやっていて、とてもきれい」と賛辞を述べ、トラブルシュートしやすいし、世の中が変わっても通じると思うと語った。
（協力：株式会社インターネットイニシアティブ）